Mills sinh ra tại Waco, Texas vào ngày 28 tháng 8 năm 1916.[16] Ông sống ở Texas cho đến khi 23 tuổi.[17]   Cha anh, Charles Grover Mills, làm nhân viên bán bảo hiểm, trong khi mẹ anh, Frances Wright Mills, làm nội trợ. [18] Cha anh đã chuyển đến Texas từ bang Florida quê hương của mình, nhưng mẹ và ông bà ngoại của anh đều sinh ra và lớn lên ở Texas.[18] Gia đình anh thường xuyên di chuyển khi anh lớn lên và kết quả là Mills sống một cuộc sống tương đối cô lập khi còn nhỏ, với ít mối quan hệ liên tục.[19] Cùng với gia đình, Mills đã dành thời gian sống ở các thành phố sau (theo thứ tự): Waco, Wichita Falls, Fort Worth, Sherman, Dallas, Austin và San Antonio.[20] Ông tốt nghiệp trường Trung học Kỹ thuật Dallas năm 1934.[21]